• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種光學式輸入裝置，將指紋辨識、移動偵測及生理訊號分析等功能整合在一起。該光學式輸入裝置具有接觸面，當有手指在該接觸面上時，可從該接觸面反射的光線擷取影像，並從該影像偵測在該接觸面上的手指移動，以及取出指紋特徵及血管血液變化特徵，進而產生移動訊號、分析比對該指紋特徵以辨識身份以及根據該血管血液變化特徵計算以產生生理訊號。
    公开号:TW201322143A
    申请号:TW100142602
    申请日:2011-11-21
    公开日:2013-06-01
    发明作者:Ren-Hau Gu；Ming-Tsan Kao；Sen-Huang Huang
    申请人:Pixart Imaging Inc；
    IPC主号:G06F3-00
    专利说明:
    光學式輸入裝置、其輸入偵測方法以及用於該光學式輸入裝置的方法
    本發明係有關一種輸入裝置，特別是關於一種光學式輸入裝置。
    如圖1所示，指紋辨識裝置係由發光源10提供光線投射到稜鏡12內，在接觸面14被全反射到影像感測器16。若有手指18按壓在接觸面14上，則其指紋的樣貌會產生特定的明暗紋線，影像感測器16從其取得的影像經辨識單元20分析比對，辨認出該使用者的身分。指紋辨識裝置雖然能精確辨識指紋而識別身分，卻不能偵測手指在接觸面14上的移動，亦不能偵測使用者的生理資訊，例如心跳、血液含氧量等等。另一方面，滑鼠及觸控板可以偵測移動，卻不能辨識使用者的身分及偵測使用者的生理資訊；生理訊號偵測裝置可以偵測生理資訊，但不能辨識身分及偵測移動。在某些應用上，例如遊戲機、可適應使用者或需要保護使用者隱私的產品，必須配置多種輸入裝置才能提供上述的各種功能，導致成本增加及使用不便。
    本發明的目的之一，在於提出一種光學式輸入裝置、其輸入偵測方法以及用於該光學式輸入裝置的方法。
    本發明的目的之一，在於提出一種整合指紋辨識、移動偵測及生理訊號分析等功能的光學式輸入裝置、其輸入偵測方法以及用於該光學式輸入裝置的方法。
    根據本發明，一種光學式輸入裝置包含發光源提供光線投射到接觸面，影像感測器從該接觸面反射的光線擷取影像，手指偵測單元根據該影像偵測是否有手指在該接觸面上，以及偵測手指在該接觸面上的位置以產生位置訊號，並從該影像取出指紋特徵及血管血液變化特徵，指紋辨識單元分析比對該指紋特徵以產生身份訊號，移動偵測單元根據該位置訊號計算以產生移動訊號，以及生理訊號分析單元根據該血管血液變化特徵計算以產生生理訊號。
    根據本發明，一種光學式輸入裝置的輸入偵測方法包含從該光學式輸入裝置的接觸面反射的光線擷取影像，根據該影像偵測是否有手指在該接觸面上，偵測手指在該接觸面上的位置以產生位置訊號，從該影像取出指紋特徵及血管血液變化特徵，分析比對該指紋特徵以產生身份訊號，根據該位置訊號計算以產生移動訊號，以及根據該血管血液變化特徵計算以產生生理訊號。
    根據本發明，一種用於光學式輸入裝置的方法包含從該光學式輸入裝置的接觸面反射的光線擷取影像，根據該影像判斷是否有手指在該接觸面上，若有手指在該接觸面上，則從該影像取出指紋特徵，並分析比對該指紋特徵以辨識使用者，若該使用者具有已知的身分，則偵測該手指在該接觸面上的位置以產生位置訊號，並從該影像取出血管血液變化特徵，根據該位置訊號偵測該手指在該接觸面上的移動，以及根據該血管血液變化特徵計算以產生生理訊號。
    圖2係根據本發明的光學式輸入裝置的較佳實施例，發光源10提供光線投射到接觸面14，影像感測器16從接觸面14反射的光線擷取影像產生影像訊號Si，手指偵測單元22從影像訊號Si辨識是否有指紋造成的明暗紋線來偵測是否有手指在接觸面14上，若有手指在接觸面14上，則手指偵測單元22更進一步偵測該手指在接觸面14上的位置以產生位置訊號Sp給移動偵測單元24，並從該影像取出指紋特徵及血管血液變化特徵，分別據以產生指紋特徵訊號Sfp及血管血液變化特徵訊號Svas給指紋辨識單元26及生理訊號分析單元28。由於血管會吸收較長波長的光，因此隨著血管中血液量的多寡變化，影像感測器16取得的影像會有亮度的變化，由此可以產生與影像的亮度相關的訊號Svas。較佳者，手指偵測單元22更依據影像的亮度產生控制訊號S1給光源控制器30，以控制發光源10調整其亮度，使取得的影像調整到最佳的清晰度。移動偵測單元24比較前後幀影像所產生的位置訊號Sp來偵測手指是否在接觸面14上移動，並據以產生移動訊號Smove，其含有移動向量，如同習知的滑鼠、觸控板或其他指向裝置一樣。指紋辨識單元26從訊號Sfp比對分析指紋特徵以辨識使用者的身份，進而產生身份訊號Suser。生理訊號分析單元28根據血管血液變化特徵計算以產生生理訊號Sbio，其含有生理資訊，例如每分鐘的心跳數、血氧濃度等等。
    身份訊號Suser、移動訊號Smove及生理訊號Sbio經通訊協定單元32編碼或排序而轉換為通訊訊號，再由傳輸單元34傳送到主機或其他裝置。傳輸單元34亦可接收外來的訊號，經通訊協定單元32解碼後給手指偵測單元22，以進行控制，或是傳送指紋資料庫中的指紋特徵給指紋辨識單元26以便比對。
    在一實施例中，手指偵測單元22從每一幀影像中的指紋特徵計算以產生每一幀影像的位置訊號Sp。
    在一實施例中，手指偵測單元22從影像中亮度有明顯變化的區域偵測手指接觸在接觸面14上的區域，進而計算該接觸區域之中心位置以產生位置訊號Sp。
    在一實施例中，更包含濾波器對影像進行濾波處理，從其中濾出較長波長的光線以產生的影像，使得訊號Svas更精確地表達出血管血液的變化。
    由於血管血液之變化速度較緩慢，較佳者，手指偵測單元22將多幀連續的影像的訊號Si平均，從其平均的亮度產生訊號Svas，以降低外在環境因素所造成的雜訊影響。
    圖3係發光源10受控發光的一個實施例，在影像感測器16擷取影像時，發光源10提供持續且穩定的光線投射到接觸驗14，使每一幀影像皆有完整均勻的曝光。
    不同的運算對影像的要求不一定相同，例如指紋辨識需要清晰度較高的影像，但對於有效的幀取樣率並無要求，相較之下，移動偵測則剛好相反，其要求較高的有效幀取樣率，但對於影像的清晰度則要求不高，而生理變化分析對有效的幀取樣率及影像的清晰度皆無要求。為獲得更佳效能，可藉控制發光源10的開啟及關閉來達成不同的有效幀取樣率，並能在低有效幀取樣率的模式下達到抑制雜訊的效果。參照圖4的實施例，上圖係有效幀取樣率的高速模式，在擷取影像時，發光源10先關閉一幀影像的時間，因此而產生的影像訊號Si_off可視為環境光源產生的雜訊，爾後的每一幀影像的訊號Si_on減去Si_off產生訊號Si，如此可抑制雜訊的影響。中間的圖式係有效幀取樣率的中速模式，以每兩幀影像為單位，發光源10在擷取第一幀影像時發光，由此產生訊號Si_on，接著在擷取第二幀影像時關閉發光源10，因此得到的訊號Si_off可以代表時間最接近時的環境雜訊，將訊號Si_on減去訊號Si_off產生訊號Si。下圖係有效幀取樣率的低速模式，以每三幀影像為單位，發光源10在擷取中間幀的影像時發光，由此產生訊號Si_on，在擷取其餘兩幀影像時關閉發光源10，從其產生的訊號Si_off1及Si_off2計算平均值，再將中間幀的影像訊號Si_on減去該平均值，得到更高清晰度的影像訊號Si。在不同的實施例中，系統設計者可以根據需求設定發光源10的控制方式，例如開啟及關閉的時機和次數，以得到滿意的性能表現。
    圖5係圖2的光學式輸入裝置的一種用法的流程圖，此實施例係將該光學式輸入裝置與主機相連，一開始，影像感測器16擷取影像而產生訊號Si給手指偵測單元22，在步驟50中，手指偵測單元22於有效幀取樣率的低速模式下，根據影像是否有明暗紋線來判斷是否有手指在接觸面14上，若是，則進行步驟52以指紋辨識的演算法取出指紋特徵，再於步驟54由指紋辨識單元26將指紋特徵與主機提供的指紋資料庫進行分析比對，步驟56判斷使用者是否具有已知的身份，若是，則指紋辨識單元26傳送身份訊號Suser給主機，且光學式輸入裝置轉換到有效幀取樣率的高速模式下產生位置訊號Sp，在步驟58由移動偵測單元24根據手指在接觸面14上位置的變化計算移動向量，再於步驟60產生移動訊號Smove給主機，提供使用者如同一般滑鼠或觸控板或其他指向裝置的操作；此外，在步驟62由手指偵測單元22從影像取出血管血液變化特徵，並據以產生訊號Svas，再於步驟64由生理訊號分析單元28根據訊號Svas產生生理訊號Sbio給主機，以供監測。較佳者，在手指靜止時才監測生理資訊，以避免手指在移動時導致對訊號Svas的分析發生錯誤。
    指紋辨識的演算法已是習知技術，例如文法比對、結構比對、細線特徵比對、圖形式比對等等。文法比對係將整張影像分成許多大小相等的小區塊，並在每一區塊上依照其紋路流向的不同給予不同的方向碼，再將所得到的方向碼逐一用基本符號表示成一維符號或二維樹狀結構，此符號群經文法分析決定類別。結構比對係在追蹤指紋紋路後，將其紋路的流向編成方向碼，而指紋的特徵往往出現在方向碼變化最劇烈的地方，根據方向碼即可將指紋特徵取出。細線特徵比對係將指紋經過前端處理予以細線化後，得到其端點、分叉點、中心點、三角點位置，再從其分佈量、相對位置與資料庫的指紋影像做比對。圖形式比對係將指紋影像經過影像處理以強化特徵後，再經過校正，然後直接比對資料庫的影像資料。
    以上對於本發明之較佳實施例所作的敘述係為關明之目的，而無意限定本發明精確地所揭露的形式，基於以上的教導或從本發明的實施例學習而作修改或變化是可能的，實施例係為解說本發明的原理以及讓熟習該項技術者以各種實施例利用本發明在實際應用上而選擇及敘述，本發明的技術思想企圖由以下的申請專利範圍及其均等來決定。
    10．．．發光源
    12．．．稜鏡
    14．．．接觸面
    16．．．影像感測器
    18．．．手指
    20．．．指紋辨識單元
    22．．．手指偵測單元
    24．．．移動偵測單元
    26．．．指紋辨識單元
    28．．．生理訊號分析單元
    30．．．光源控制器
    32．．．通訊協定單元
    34．．．傳輸單元
    圖1係解說指紋辨識裝置的操作原理；
    圖2係根據本發明的光學式輸入裝置的較佳實施例；
    圖3係發光源受控發光的一個實施例；
    圖4係解說藉降低有效的幀取樣率來抑制雜訊的方法；以及
    圖5係圖2的光學式輸入裝置的一種用法的流程圖。
    10．．．發光源
    16．．．影像感測器
    22．．．手指偵測單元
    24．．．移動偵測單元
    26．．．指紋辨識單元
    28．．．生理訊號分析單元
    30．．．光源控制器
    32．．．通訊協定單元
    34．．．傳輸單元
    权利要求:
    Claims (18)
    [1] 一種光學式輸入裝置，包含：接觸面，供手指接觸；發光源，提供光線投射到該接觸面；影像感測器，從該接觸面反射的光線擷取影像，以產生影像訊號；手指偵測單元，連接該影像感測器，根據該影像偵測是否有手指在該接觸面上，以及在有手指接觸該接觸面時偵測手指在該接觸面上的位置以產生位置訊號，並從該影像取出指紋特徵及血管血液變化特徵；指紋辨識單元，連接該手指偵測單元，分析比對該指紋特徵以產生身份訊號；移動偵測單元，連接該手指偵測單元，根據該位置訊號計算以產生移動訊號；以及生理訊號分析單元，連接該手指偵測單元，根據該血管血液變化特徵計算以產生生理訊號。
    [2] 如請求項1之光學式輸入裝置，更包含光源控制器連接該發光源，以控制該發光源發光。
    [3] 如請求項2之光學式輸入裝置，其中該發光源受控在擷取影像時持續且穩定地發光。
    [4] 如請求項2之光學式輸入裝置，其中該手指偵測單元連接該光源控制器，根據該影像的亮度產生控制訊號給該光源控制器，以調整該發光源的亮度。
    [5] 如請求項2之光學式輸入裝置，其中該影像感測器擷取多幀影像，包含一幀在該發光源發光時擷取的第一影像，以及一幀在該發光源不發光時擷取的第二影像，該手指偵測單元將該第一影像減去該第二影像以降低環境雜訊。
    [6] 如請求項2之光學式輸入裝置，其中該影像感測器擷取多幀影像，包含一幀在該發光源發光時擷取的第一影像，以及多幀在該發光源不發光時擷取的第二影像，該手指偵測單元將該第一影像減去該多幀第二影像的平均值以降低環境雜訊。
    [7] 如請求項1之光學式輸入裝置，其中該影像感測器擷取多幀影像，該手指偵測單元將該多幀影像平均以產生該血管血液變化特徵。
    [8] 如請求項1之光學式輸入裝置，更包含：通訊協定單元，連接該指紋辨識單元、該移動偵測單元及該生理訊號分析單元，將該身份訊號、該移動訊號及該生理訊號編碼或排序，以產生通訊訊號；以及傳輸單元，連接該通訊協定單元，以送出該通訊訊號。
    [9] 如請求項8之光學式輸入裝置，其中該傳輸單元接收外來的訊號，經該通訊協定單元解碼後給該手指偵測單元或該指紋辨識單元。
    [10] 一種光學式輸入裝置的輸入偵測方法，該光學式輸入裝置具有接觸面供手指接觸，該輸入偵測方法包含下列步驟：a)從該接觸面反射的光線擷取影像；b)根據該影像偵測是否有手指在該接觸面上；c)在有手指接觸該接觸面時偵測手指在該接觸面上的位置以產生位置訊號；d)在有手指接觸該接觸面時從該影像取出指紋特徵及血管血液變化特徵；e)分析比對該指紋特徵以產生身份訊號；f)根據該位置訊號計算以產生移動訊號；以及g)根據該血管血液變化特徵計算以產生生理訊號。
    [11] 如請求項9之輸入偵測方法，其中該步驟a包含在擷取影像時提供持續且穩定的光線投射到該接觸面。
    [12] 如請求項9之輸入偵測方法，其中該步驟a包含根據影像的亮度調整投射到該接觸面的光線亮度。
    [13] 如請求項9之輸入偵測方法，其中該步驟a包含下列步驟：在提供光線投射到該接觸面時擷取第一幀影像；在不提供光線投射到該接觸面時擷取第二幀影像；以及將該第一幀影像減去該第二幀影像以降低環境雜訊。
    [14] 如請求項9之輸入偵測方法，其中該步驟a包含下列步驟：在提供光線投射到該接觸面時擷取第一幀影像；在不提供光線投射到該接觸面時擷取多幀第二影像；取出該多幀第二影像的平均值；以及將該第一幀影像減去該平均值以降低環境雜訊。
    [15] 如請求項9之輸入偵測方法，其中該步驟d包含將多幀影像平均以產生該血管血液變化特徵。
    [16] 如請求項9之輸入偵測方法，更包含下列步驟：將該身份訊號、該移動訊號及該生理訊號編碼或排序，以產生通訊訊號；以及送出該通訊訊號。
    [17] 一種用於光學式輸入裝置的方法，該光學式輸入裝置具有接觸面供手指接觸，該方法包含下列步驟：a)從該接觸面反射的光線擷取影像；b)根據該影像判斷是否有手指在該接觸面上；c)若有手指在該接觸面上，則從該影像取出指紋特徵，並分析比對該指紋特徵以辨識使用者；d)若該使用者具有已知的身分，則偵測該手指在該接觸面上的位置以產生位置訊號，並從該影像取出血管血液變化特徵；e)根據該位置訊號偵測該手指在該接觸面上的移動；以及f)根據該血管血液變化特徵計算以產生生理訊號。
    [18] 如請求項17之方法，更包含在該手指靜止時監測該生理訊號。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI485629B|2015-05-21|An optical input device, an input detection method thereof, and a method for the optical input device
    CN103353935B|2016-06-08|一种用于智能家居系统的3d动态手势识别方法
    WO2019080797A1|2019-05-02|一种活体检测方法、终端和存储介质
    EP1487341B1|2011-05-18|Real-time eye detection and tracking under various light conditions
    KR20100032699A|2010-03-26|사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
    US20140316293A1|2014-10-23|Optical heartrate tracking
    TWI571772B|2017-02-21|虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
    KR101272811B1|2013-06-10|인터페이스 시스템 및 방법
    TW201319876A|2013-05-16|光學滑鼠及其運作方法
    TW201322061A|2013-06-01|人機介面系統及手指滑鼠系統
    US8879789B1|2014-11-04|Object analysis using motion history
    US9454238B2|2016-09-27|Keyboard module and display system
    CN104808938B|2019-03-15|双模光学导航装置及其模式切换方法
    US9289159B2|2016-03-22|User Identification method, physiological detection device and physiological detection method
    KR101281461B1|2013-07-03|영상분석을 이용한 멀티 터치 입력 방법 및 시스템
    CN106503651B|2019-09-24|一种手势图像的提取方法及系统
    US10474297B2|2019-11-12|Projecting a structured light pattern onto a surface and detecting and responding to interactions with the same
    KR101909326B1|2018-12-19|얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
    KR101130063B1|2012-03-28|차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법
    He et al.2014|Self-adaptive coding-based touch detection for interactive projector system
    US20190258315A1|2019-08-22|Adapting Media Content to a Sensed State of a User
    Jyothilakshmi et al.2016|Patient assistance system in a super speciality hospital using a kinect sensor camera
    TWI483141B|2015-05-01|手勢辨識系統及手勢辨識方法
    KR101385373B1|2014-04-29|얼굴 검출 기반 손 제스처 인식 방법
    Zhang et al.2020|SmartPose: An Intelligent Household Appliances Controller Based on Visual Recognition of Human Postures
    同族专利:
    公开号 | 公开日
    TWI485629B|2015-05-21|
    US20130194236A1|2013-08-01|
    CN103135853A|2013-06-05|
    CN103135853B|2016-03-16|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    TWI514286B|2013-10-16|2015-12-21|Pixart Imaging Inc|薄型生理特徵偵測模組|
    US9357955B2|2014-03-21|2016-06-07|Industrial Technology Research Institute|Portable analytical device and system|
    TWI550524B|2014-10-20|2016-09-21|光寶電子（廣州）有限公司|生理訊號處理裝置及其方法|US6932762B2|2001-09-21|2005-08-23|Fujinon Corporation|Endoscope having red component cut filter|
    JP3859673B2|2002-09-17|2006-12-20|富士通株式会社|生体情報取得装置および生体情報による認証装置|
    EP1437677A1|2002-12-30|2004-07-14|Nokia Corporation|Optical user interface for controlling portable electric device|
    JP4524250B2|2003-08-13|2010-08-11|日立オートモティブシステムズ株式会社|個人認証装置|
    US7623689B2|2003-11-18|2009-11-24|Canon Kabushiki Kaisha|Image pick-up apparatus including luminance control of irradiation devices arranged in a main scan direction|
    WO2006051976A1|2004-11-15|2006-05-18|Nec Corporation|生体特徴入力装置|
    JP2006221514A|2005-02-14|2006-08-24|Canon Inc|生体認証装置及び画像取得方法|
    JP4872082B2|2006-06-07|2012-02-08|国立大学法人九州工業大学|レーザー光による眼底血流測定を利用した個人認証方法及び個人認証装置|
    JP2008020942A|2006-07-10|2008-01-31|Rohm Co Ltd|個人識別装置及びこれを用いた電子機器|
    US8022941B2|2006-10-12|2011-09-20|Disney Enterprises, Inc.|Multi-user touch screen|
    TWI387913B|2007-04-03|2013-03-01|Pixart Imaging Inc|Optical touch device and its control method|
    EP1988489B1|2007-05-04|2021-02-17|STMicroelectronics Limited|Biometric sensor apparatus and method|
    JP5278854B2|2007-12-10|2013-09-04|富士フイルム株式会社|画像処理システムおよびプログラム|
    TW200949618A|2008-05-16|2009-12-01|Kye Systems Corp|Input device and the control method thereof|
    US20100004526A1|2008-06-04|2010-01-07|Eigen, Inc.|Abnormality finding in projection images|
    US20100188332A1|2009-01-23|2010-07-29|Avago Technologies Ecbu Ip Pte. Ltd.|Thin-film transistor imager|
    TW201032091A|2009-02-17|2010-09-01|Pixart Imaging Inc|Optical displacement detecting device and operating method thereof|
    JP5451540B2|2009-10-16|2014-03-26|日立オムロンターミナルソリューションズ株式会社|生体認証装置および生体認証方法|
    CN102193651B|2010-03-11|2014-11-05|株式会社理光|用于识别激光点的设备、方法和系统|TWI489090B|2012-10-31|2015-06-21|Pixart Imaging Inc|偵測系統|
    US9852519B2|2013-06-25|2017-12-26|Pixart Imaging Inc.|Detection system|
    CN103808305B|2012-11-07|2017-11-07|原相科技股份有限公司|检测系统|
    US9665213B2|2013-08-30|2017-05-30|Maxim Integrated Products, Inc.|Detecting pressure exerted on a touch surface and providing feedback|
    US10043847B2|2014-08-26|2018-08-07|Gingy Technology Inc.|Image capturing module and electrical apparatus|
    US10216978B2|2014-08-26|2019-02-26|Gingy Technology Inc.|Fingerprint identification device and fingerprint identification method|
    US10127428B2|2014-08-26|2018-11-13|Gingy Technology Inc.|Fingerprint identification method and fingerprint identification device|
    CN104318205A|2014-09-29|2015-01-28|上海箩箕技术有限公司|信息检测显示装置及其检测方法和显示方法|
    US10732771B2|2014-11-12|2020-08-04|Shenzhen GOODIX Technology Co., Ltd.|Fingerprint sensors having in-pixel optical sensors|
    CN105094461B|2015-07-10|2018-07-27|深圳市汇顶科技股份有限公司|触摸压力检测装置和方法|
    US10679081B2|2015-07-29|2020-06-09|Industrial Technology Research Institute|Biometric device and wearable carrier|
    DE102016109142A1|2016-05-18|2017-11-23|Preh Gmbh|In einem Identifikationsmodus und einem Eingabemodus betriebene Eingabeeinrichtung|
    CN106934361B|2017-03-06|2021-01-05|苏州佳世达光电有限公司|一种辨识方法以及电子设备|
    CN111291592A|2018-12-07|2020-06-16|上海耕岩智能科技有限公司|一种指纹识别方法及装置、存储介质和终端|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100142602A|TWI485629B|2011-11-21|2011-11-21|An optical input device, an input detection method thereof, and a method for the optical input device|TW100142602A| TWI485629B|2011-11-21|2011-11-21|An optical input device, an input detection method thereof, and a method for the optical input device|
    CN201110394904.3A| CN103135853B|2011-11-21|2011-12-02|光学式输入装置、检测方法及用于光学式输入装置的方法|
    US13/671,230| US20130194236A1|2011-11-21|2012-11-07|Optical input device and input detection thereof|
    [返回顶部]